Mit Claude, ChatGPT und Googles Gemmini existieren am Markt 3 große kommerzielle generative ChatBots, die bereitwillig Fragen beantworten, programmieren, dich einfach nur unterhalten oder nützlich für die eine oder andere Hausaufgabe sind. Daneben gibt es noch zahlreiche, kostenlose Large-Language-Modelle, die ebenfalls leistungsfähig und dazu nicht ganz so neugierig sind wie ihre kommerziellen Brüder und Schwestern. Und sie lassen sich auch lokal auf dem eigenen Server oder PC installieren.
Mit Ollama und Ollama WebUI existiert endlich eine halbwegs barrierefreie Variante. Denn LM Studio und GPT4All lassen sich zwar irgendwie mit einem Screenreader verwenden, aber nicht alleine einrichten. Ohne viel Geplänkel gibt es hier eine Kurzanleitung zur Installation. Eine genaue Beschreibung von Ollama WebUI werde ich später nachliefern. Gewiefte Nutzer finden aber schon heraus, wie das funktioniert.
Einige Vorzüge seien aber dennoch erwähnt:
Nutzung von LLM-Modellen wie LLama, Gemma, Mistral und viele mehr
Möglichkeit des automatischen Vorlesens via Text-to-speech
von ChatGPT gewohnte Tastenkombinationen (z. B. STRG, Shift und C zum Kopieren der letzten Ausgabe)
aktuelles Windows 10 oder Windows 11 (Linux und MacOS gehen natürlich auch)
Windows Subsystem für Linux (Windows Features aktivieren oder deaktivieren)
Docker Studio (Download: https://www.docker.com/products/docker-desktop/)
Ollama (Download: https://ollama.com/download/windows)
Zeit und viel Speicherplatz
Installiere die oben genannten Features und Programme, damit Ollama WebUI funktioniert. Achte auf eine fehlerfreie Installation. Starte im Anschluss deinen PC neu. Sollte das Dockerstudio nach dem ersten Neustart nicht automatisch starten, musst du dies von Hand nachholen (im Startmenü einfach Docker eingeben und das Ergebnis Docker Desktop auswählen oder über die Desktopverknüpfung starten), damit Docker-Container erstellt werden können. Eine Registrierung bzw. einen Login musst du nicht durchführen.
Ist die Installation der vorgenannten Features und Programme abgeschlossen, können Dokcer-Container, wie unter Linux gewohnt, auch unter Windows installiert werden. Dafür wird deshalb das Subsystem für Linux benötigt.
Um nun Ollama WebUI zu installieren, öffne die Kommandozeile (cmd) und füge den folgenden Befehl ein, den du mit Enter absendest:
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
Es kann nun sein, dass bei Verwendung eines Screenreaders entweder nichts oder viele wilde Informationen angesagt werden. Im Fenster der Eingabeaufforderung laufen nun viele Zeilen Text durch. Das sind Informationen zu Dateien, die heruntergeladen und entpackt werden. Hier muss man einfach etwas Geduld haben. Eine Zigarette oder ein Käffchen später, ist es aber auch geschafft.
Nach erfolgreicher Erstellung des Docker-Containers kannst du in einem Webbrowser deiner Wahl nun die Adresse http://localhost:3000 aufrufen. Es begrüßt dich eine Anmeldeseite, wo du dich tatsächlich registrieren musst. Aber keine Angst, alles bleibt lokal. Die eingegebenen Daten sind erst einmal egal. Du solltest dir nur den Nutzernamen (bzw. die E-Mailadresse) und das Passwort merken.
Nun beginnt noch einmal ein etwas umfangreicherer Part. Denn es muss erst ein Large-Language-Modell installiert werden. Einige Stolpersteine in Form von unbenannten Schaltern können und werden dich als JAWS-/NVDA-Nutzer erwarten. Aber das ist nicht weiter schlimm.
Navigiere zum Schalter „User-Manü-Schalter“ und öffne ihn mit der Leertaste. Im Chrome-Browser musste ich nun die Tabulatortasten drücken und konnte dann mit den Pfeiltasten zum Punkt „Administrationsbereich“ springen. Jetzt, wo du weißt, wo du hin musst, geht das sicher auch mit der Schnellnavigation (Taste B).
Navigiere nun zum Punkt „Einstellungen“ (es ist ein Link) und weiter zum Menüeintrag „Modelle“ (dieses Mal ist es ein Schalter) und aktiviere den Eintrag. Nun kann per Kurznavigation (Taste E) ins das Feld „Geben Sie den Modell Tag ein“ springen. Für das erste Modell kannst du hier einfach llama3.1 eingeben. Es gibt, wenn du weiter navigierst aber auch einen Link zu einer Liste mit anderen verfügbaren Tags. Das sind die vielen verschiedenen Modelle. Von der Eingabezeile aus kann mit Tabulator zum Download-Button gesprungen werden (dieser Schalter ist Stand heute, August 2024, nicht beschriftet).
Der Download beginnt. Mit den Pfeiltasten ist es möglich, auf einen Fortschrittsbalken zu springen, der angesagt und auf der Braillezeile angezeigt wird. Auch hier gilt wieder: Geduld. Die Modelle können eine Größe von bis zu 40 Gigabyte haben. Das Beispielmodell ist nur ein Zehntel so groß. Warte, nachdem der Fortschritt bei 100 % angekommen ist, noch einen Augenblick. Das Modell wird noch entpackt.
Ist der Downloadprozess abgeschlossen und das Modell entpackt, kann es auch schon los gehen. Mit einem Sprung zum Eintrag „Neue Unterhaltung“ (wieder ein Link), kann der erste Befehl eingegeben werden.
Weitere Modelle kannst du auf zwei Arten hinzufügen:
Im Adminbereich im Menüpunkt Modelle gibt es einen Link auf die Homepage von Ollama, wo du aus vielen weiteren Modellen wählen kannst. Alternativ kannst du auch den folgenden Link nutzen:
Dort kannst du durch die Überschriften navigieren. Wenn du dise kopierst, kannst du sie in das vorhin erwähnte Tag-Feld eingeben und mit einem Druck auf den (nicht benannten) Downloadbutton bestätigen. Der Download beginnt, sofern der Name vorher richtig kopiert wurde.
Eine zweite Möglichkeit besteht darin, die Überschrift mit einem Druck auf die Entertaste zu öffnen. Dort findest du nach ein paar mal Tabben (oder mit dem Druck auf die Schnellnavigationstaste E) den Befehl, um ein explizites Modell über die Kommandozeile von Windows zu installieren. Das geht aber meist auch, wenn du die Überschrift kopierst. Der Befehl zur Installation lautet immer
ollama run (modellname)
Ist alles richtig eingegeben, startet der Download und man könnte im Anschluss direkt im Konsolenfenster schon eine Konversation starten. Hier kann das Fenster geschlossen werden. Das Modell ist nun auch in der bequemeren Weboberfläche nutzbar.
Um das automatische Vorlesen zu aktivieren, gehe wie am Anfang auf den Eintrag „User-Menü-Schalter“. Dort aktivierst du dieses Mal aber nicht den Administrationsbereich sondern den Eintrag „Einstellungen“ und anschließend „Audio“. Dort kannst du dann im Bereich TTS-Einstellungen die automatische Ausgabe einschalten und eine Stimme auswählen.
Der Docker-Container für WebUI muss noch gestartet werden. Dies geht im Docker Studio (bzw. Docker Desktop) unter Containers oder Image. Danach lässt sich die Ollama WebUI wieder auffrufen.
Dieses Problem tritt aktuell leider mit allen Browsern in Kombination mit JAWS und NVDA auf. Mit dem Narrator von Microsoft funktioniert es aber. Wenn du auf die Schaltfläche "Wähen Sie ein Modell aus" springt und diesen mit der Leertaste aktiviert, kannst du den Namen des Modells eintippen. Dabei reichen die ersten Zeichen (wenn sie eindeutig sind). Mit Enter bestätigt, wird das Modell geladen. Als Nutzer einer Sprachausgabesoftware kannst du das prüfen, indem du den Schalter "Wählen Sie ein Modell aus" erneut anspringt.
Eine weitere Möglichkeit besteht darin, in den Benutzereinstellungen ein Standardmodell auszuwählen. Geht dazu in das Benutzerprofil und öffne den Punkt "Einstellungen". Dort gibt es den Punkt "Oberfläche". Hier kannst du ein Standardmodell festlegen. Das Menü wird auch vollständig angesagt.